<p style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    Embedding是一种将高维数据转换为<a class="RichContent-EntityWord css-b7erz1"
                                      href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=%E4%BD%8E%E7%BB%B4%E5%90%91%E9%87%8F&zhida_source=entity"
                                      target="_blank"
                                      style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">低维向量</a>表示的技术，它在自然语言处理、计算机视觉等领域有广泛应用。例如，在文本中，一个词或短语会被转换成一个固定长度的向量，这个向量能够捕捉词义和上下文信息。通过&nbsp;<a
        class="RichContent-EntityWord css-b7erz1"
        href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=Embedding+%E6%A8%A1%E5%9E%8B&zhida_source=entity"
        target="_blank" style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">Embedding 模型</a>，可以计算句子间的相似度，应用于检索，分类，召回，排序等诸多任务。
</p>
<p style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    目前，Embedding模型已经取得了显著进展。例如，Word2Vec、GloVe 等模型能够生成高质量的<a
        class="RichContent-EntityWord css-b7erz1"
        href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=%E8%AF%8D%E5%B5%8C%E5%85%A5&zhida_source=entity"
        target="_blank" style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">词嵌入</a>向量。Transformer架构的出现，进一步推动了Embedding模型的进步。<a
        class="RichContent-EntityWord css-b7erz1"
        href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=BERT&zhida_source=entity"
        target="_blank" style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">BERT</a>、GPT等预训练语言模型通过大规模数据集训练，生成了更加丰富和精确的词嵌入表示。
</p>
<p style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    通常，Embedding模型是通过对比学习来训练的，而负样本的质量对模型性能至关重要。难负例挖掘就是利用 Teacher
    模型，来找到与Query有一定相关性但不如正样本相关的段落，从而使对比损失更难区分<a
        class="RichContent-EntityWord css-b7erz1"
        href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=%E6%AD%A3%E4%BE%8B&zhida_source=entity"
        target="_blank" style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">正例</a>和负例。尽管难负例挖掘非常重要，但在Embedding工作中，这些方法往往被忽视，研究通常集中在<a
        class="RichContent-EntityWord css-b7erz1"
        href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=%E6%A8%A1%E5%9E%8B%E6%9E%B6%E6%9E%84&zhida_source=entity"
        target="_blank" style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">模型架构</a>、微调方法和数据选择上。
</p>
<h3 style="font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 1.1em; line-height: 1.5; font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; margin: calc(1.90909em) 0px calc(1.27273em); clear: left; color: rgb(25, 27, 31); white-space: normal; background-color: rgb(255, 255, 255);">
    主要方法</h3><p><img src="https://pic4.zhimg.com/80/v2-6c63d98dda8402c686fa063abd296ec1_720w.webp"
                         class="origin_image zh-lightbox-thumb lazy" width="1656" height="498"/></p><p>图2
    训练方法概览</p><p
        style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    在<a class="RichContent-EntityWord css-b7erz1"
         href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=%E5%BC%B1%E7%9B%91%E7%9D%A3&zhida_source=entity"
         target="_blank" style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">弱监督</a>训练阶段，我们收集了
    7.5 亿对数据集，并从中挑选出 4 亿对。在有监督训练阶段，使用动态难负例挖掘策略来更精确地微调模型。</p><p
        style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    Language
    Embedding模型训练通常采用多阶段方案，分为弱监督的预训练以及有监督的精调训练。我们遵循这种训练方式，将训练分为预训练和微调两个阶段。以下介绍了我们的详细训练流程和主要的方法，包含了动态的难负例挖掘和跨GPU的多任务均衡训练方式。</p>
<h3 style="font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 1.1em; line-height: 1.5; font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; margin: calc(1.90909em) 0px calc(1.27273em); clear: left; color: rgb(25, 27, 31); white-space: normal; background-color: rgb(255, 255, 255);">
    训练流程</h3><h3
        style="font-variant-numeric: inherit; font-variant-east-asian: inherit; font-stretch: inherit; font-size: 1.1em; line-height: 1.5; font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; margin: calc(1.90909em) 0px calc(1.27273em); clear: left; color: rgb(25, 27, 31); white-space: normal; background-color: rgb(255, 255, 255);">
    预训练</h3><p
        style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    如图2(a)所示，在预训练阶段，我们首先使用Internlm2.5中描述的标准数据过滤方法。首先，通过文档提取和语言识别进行格式化处理；接着，在基于规则的阶段，文本会经过规范化和启发式过滤；然后，通过MinHash方法进行去重；在安全过滤阶段，执行域名阻止、毒性分类和色情内容分类；最后，在质量过滤阶段，文本会经过广告分类和流畅度分类，以确保输出文本的高质量。通过过滤，我们筛选了约
    4.5 亿对数据，留存率约60%。</p><p
        style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    bge-large-zh-v1.5 是由<a class="RichContent-EntityWord css-b7erz1"
                             href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=%E6%99%BA%E6%BA%90&zhida_source=entity"
                             target="_blank"
                             style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">智源</a>发布的广泛使用的基础embedding
    模型。我们认为，该模型在对数据进行评分时，能够有效地识别并保留高质量数据。在数据经过标准过滤后，我们使用bge-large-zh-v1.5模型对每一条数据进行评分，丢弃所有得分低于0.4的数据。通过评分，我们筛选了约
    4 亿对数据，留存率约 89%。</p><p
        style="margin-top: 1.4em; margin-bottom: 1.4em; color: rgb(25, 27, 31); font-family: -apple-system, BlinkMacSystemFont, &quot;Helvetica Neue&quot;, &quot;PingFang SC&quot;, &quot;Microsoft YaHei&quot;, &quot;Source Han Sans SC&quot;, &quot;Noto Sans CJK SC&quot;, &quot;WenQuanYi Micro Hei&quot;, sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">
    在预训练阶段，为了高效且充分地利用数据，我们使用InfoNCE&nbsp;<a class="RichContent-EntityWord css-b7erz1"
                                                                  href="https://zhida.zhihu.com/search?content_id=248681457&content_type=Article&match_order=1&q=Loss&zhida_source=entity"
                                                                  target="_blank"
                                                                  style="text-decoration-line: none; color: rgb(9, 64, 142); cursor: pointer;">Loss</a>&nbsp;with
    In-Batch Negative：</p><p><br/></p>